Towards Scalable, Accurate, and Usable Simulations of Distributed Applications and Systems

The study of parallel and distributed applications and platforms, whether in the cluster, grid, peer-to-peer, volunteer, or cloud computing domain, often mandates empirical evaluation of proposed algorithm and system solutions via simulation. Unlike direct experimentation via an application deployment on a real-world testbed, simulation enables fully repeatable and configurable experiments that can often be conducted quickly for arbitrary hypothetical scenarios. In spite of these promises, current simulation practice is often not conducive to obtaining scientifically sound results. State-of-the-art simulators are often not validated and their accuracy is unknown. Furthermore, due to the lack of accepted simulation frameworks and of transparent simulation methodologies, published simulation results are rarely reproducible. We highlight recent advances made in the context of the SIMGrid simulation framework in a view to addressing this predicament across the aforementioned domains. These advances, which pertain both to science and engineering, together lead to unprecedented combinations of simulation accuracy and scalability, allowing the user to trade off one for the other. They also enhance simulation usability and reusability so as to promote an Open Science approach for simulation-based research in the field. Key-words: Distributed computing simulation, validation, scalability, SIMGrid ∗ INRIA, Bordeaux University, France † Grenoble University, France ‡ Dept. of Computer and Information Sciences, University of Hawai‘i at Manoa, U.S.A § Nancy University, LORIA, France ¶ Instituto de Informática, Universidade Federal do Rio Grande do Sul, Porto Alegre, Brazil ‖ University of Strasbourg, ICPS-LSIIT, Illkirch, France ∗∗ University of Lyon, LIP, INRIA, Lyon, France †† IN2P3 Computing Center, CNRS/IN2P3, Lyon-Villeurbanne, France in ria -0 06 31 14 1, v er si on 1 11 O ct 2 01 1 Contributions à l’extensibilité, la précision et l’utilisabilité des simulations de systèmes et applications distribuées Résumé : L’étude de systèmes et applications parallèles et distribués, qu’il s’agisse de clusters, de grilles, de systèmes pair-à-pair de volunteer computing, ou de cloud, demandent souvent l’évaluation empirique par simulation des algorithmes et solutions proposés. Contrairement à l’expérimentation directe par déploiement d’applications sur des platesformes réelles, la simulation permet des expériences reproductibles pouvant être menée rapidement sur n’importe quel scénario hypothétique. Malgré ces avantages théoriques, les pratiques actuelles en matière de simulation ne permettent souvent pas d’obtenir des résultats scientifiquement éprouvés. Les simulateurs classiques sont trop souvent validés et leur réalisme n’est pas démontré. De plus, le manque d’environnements de simulation communément acceptés et de méthodologies classiques de simulation font que les résultats publiés grâce à cette approche sont rarement reproductibles par la communauté. Nous présentons dans cet article les avancées récentes dans le contexte de l’environnement SIMGrid pour répondre à ces difficultés. Ces avancées, comprenant à la fois des aspects techniques et scientifiques, rendent possible une combinaison inégalée de réalisme et précision de simulation et d’extensibilité. Cela permet aux utilisateurs de choisir le grain des modèles utilisés pour ses simulations en fonction de ses besoins de réalisme et d’extensibilité. Les travaux présentés ici améliorent également l’utilisabilité et la réutilisabilité de façon à promouvoir l’approche d’Open Science pour les recherches basées sur la simulation dans notre domaine. Mots-clés : Simulation de systèmes distribués, validation, extensibilité, SIMGrid in ria -0 06 31 14 1, v er si on 1 11 O ct 2 01 1 Towards Scalable, Accurate, and Usable Simulations of Distributed Systems 3